Boot-and-Feedback Framework for Generalist-Expert Model Collaboration in Breast Ultrasound Diagnosis
乳腺超声诊断中通才-专家模型协作的引导与反馈框架
🧭 MLLM 与视觉专家协作优化
Department of Data Science & AI, Monash University, Australia · Department of Computer Science, Renmin University of China, China · School of Computing and Communications, Lancaster University, UK
提出 BooF 框架，通过 BI-RADS 引导 MLLM 生成可靠描述并反馈给视觉专家，提升诊断准确性与可解释性
📌 工作参考价值（4 点）
- 借鉴领域知识约束：用结构化 schema（如商品属性、广告合规词表）引导 LLM 生成内容，减少幻觉。
- 两阶段协作：先由轻量专家模型给出初步信号，再让通用 LLM 基于该信号生成解释或描述，反馈给专家模型融合，可提升多模态推荐/审核模型性能。
- Attention-Gated 跨模态融合模块：轻量、可自适应过滤噪声，适合工程上在现有多模态模型中插入，无需大改架构。
- Bootstrapping 思想：通用模型与专家模型循环增强，可用于 Agent 系统中不同角色协作，比如生成式商品描述与检索模型互反馈。